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一 种 面向 FAST PB 量 级 脉冲 星 数据 处 理 加 速 方法 及 系统 ” 
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摘 要 : 500 米 口 径 球面 射电 望远镜 FAST 已 投入 科学 运行 ， 漂 移 扫 描 巡 天 采集 数据 量 
已 超过 1PB， 预 计 每 年 新 增 至 少 SPB。 现 有 数据 处 理 软件 如 PRESTO、SIGPROC 等 已 无 法 
满足 PB 量 级 数据 的 快速 处 理 要 求 。 提 出 了 一 种 基于 PRESTO 的 分 布 式 并 行 计算 方法 ,整合 
利用 数据 库 技 术 和 异地 异 构 计算 资源 ， 构 建 了 一 套 命名 Craber 的 计算 加 速 系统 。 整 体系 统 
由 FAST 早期 科学 数据 中 心 与 国家 天 文 台 团队 共同 设计 和 实现 .启用 Craber 子 网 计算 集群 D 
中 55 个 计算 节点 ， 应 用 Parkes 多 波束 巡天 数据 集 和 FAST 漂移 扫描 数据 验证 了 系统 流程 和 
搜索 数据 库 。 单 个 100MB Parkes 巡天 数据 文件 平均 耗 时 36 4r, 4S 128MB FAST 巡天 数 
据 文件 平均 耗 时 22 秒 。 该 系统 目前 已 实际 参与 FAST 数据 处 理 并 产生 数 十 颗 脉 冲 星 发 现 ， 
有 效 帮 助 FAST 加 速 数据 处 理 和 扩大 新 样本 数量 。 


关键 词 : 脉冲 星 ; 加 速 系统 ; 搜索 数据 库 ; 数据 处 理 ; 500 米 口 径 球 面 射电 望远镜 
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1967 年 ， 剑 桥 大 学 在 读 博 士 生 乔 巧 琳 。， 贝 尔 (Jocelyn BelD) 和 其 导师 等 人 在 狐狸 星座 发 现 
了 人 类 历史 上 首 颗 射电 脉冲 星 PSR B1919+21t1。 这 项 20 世 纪 重 大 的 天 文学 发 现 于 1974 年 12 
月 获得 了 诺 贝 尔 物理 学 奖 ， 以 表彰 赖 尔 (Martin Ryle) 和 休 伊 什 (Antony Hewish) 教授 在 
射电 天 体 物理 学 领域 的 开创 性 研究 。 至 今 已 知 探测 发 现 脉冲 星 约 3000 颗 , 它们 的 自行 速度 每 
PD AYIA ZS LPT 脉冲 星 极端 物理 性 质 是 地 面 人 工 实 验 室 无 法 实现 的 , 性 质 包 括 : 强 磁场 、 
高 密度 、 高 能 辐射 、 超 强 引力 场 、 伴 随 恒 星 演化 和 超新星 爆发 过 程 等 。 脉 冲 星 的 发 现 为 核 物 
理 、 粒 子 物 理 、 天 体 物理 、 爱 因 斯 坦 相 对 论 理论 和 宇宙 学 的 检验 提供 天 然 理想 实验 室 。 对 其 
深入 研究 ， 有 和 希望 获得 许多 重大 物理 学 问题 的 答案 。 如 : 它 自转 周期 极其 稳定 ， 具 有 精准 的 
时 钟 信 号 ， 可 为 引力 波 探测 、 航 天 器 导航 等 重大 科学 技术 应 用 提供 理想 工具 。 
脉冲 星 独 特 的 物理 性 质 和 科学 价值 使 其 很 快 成 为 天 体 物理 学 最 活跃 的 研究 领域 之 一 ,为 
更 深入 研究 这 类 天 体 , 大 量 望远镜 时 间 被 投入 开展 巡天 项 目 , 以 期 发 现 更 多 样本 数据 。 过 去 ， 
受 望远镜 设备 、 数 据 采 集 装 置 、 计 算 搜 索 理论 和 技术 等 因素 限制 ,单个 巡天 项 目 采 集 到 的 观 
测 数 据 总 量 通 常 介 于 GB 至 TB 之 间 。 例 如 ，1997-2003 年 期 间 澳 大 利 亚 Parkes 望 远 镜 采 用 13 波 
束 接收 机 巡天 (Parkes Multi-beam Pulsar Survey, PMPS) "!, 542214970048 PSRFITS#¥ xt 
数据 文件 证， 数据 总 量 约 STB ， 探 测 发 现 新 脉冲 星 超过 1122 颗 。2012 年 Nancay 望 远 镜 开 展 的 
SPAN512 项 目 ， 采 和 集 数据 总 量 约 50TB。 而 2010-2012 年 开展 的 “高 时 间 分 辨 宇宙 (HTRU) ” 
系列 巡天 项 目 ， 因 同时 提高 了 时 间 和 频率 分 辨 率 ， 每 个 Beam 文 件 达 16GB ， 采 集 数 据 总 量 约 
1PB。 如 今 ，500 米 口径 球面 射电 望远镜 FAST 已 投入 使 用 ， 可 探测 频率 覆盖 范围 70MHz 至 
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40 ”3GHz， 它 灵敏 度 更 高 ， 综 合 探 测 能 力 更 强 ， 具备 19 波 束 同时 扫描 巡天 能 力 ， 配 备 更 高 时 间 、 
41 ”频率 分 辩 紊 的 超 宽带 接收 机 ， 单 波束 数据 采样 频率 由 原来 的 1024Hz 拓 展 至 4096Hz。 若 19 个 
42 ”波束 同时 工作 ， 以 100 us 为 时 间 采 样 分 辨 率 、 频 率 带 宽 400MHz， 采 用 8 bit 记 录 数 据 ， 日 采 
43 ” 集 数 据 量 可 达 100TB。2017 年 7 月 -2018 年 5 月 期 间 ，FAST 使 用 超 宽带 接收 机 进行 夜间 漂移 扫 
44 ” 描 (Commensal Radio Astronomy FAST survey, CRAFTS)， 记 录 0-1GHz，1-2GHz 两 个 频段 数 
45 ” 据 ， 接 收 到 观测 数据 超过 1400TB， 其 中 ， 超 宽带 数据 385TB，19 波 束 巡 天 数据 851TB， 加 上 
46 ”数据 分 析 产 生 的 中 间 数 据 ,， 已 超过 1.5PB 容 量 , 数据 存 于 FAST 早 期 科学 数据 中 心 集群 磁盘 阵 
47 ” 列 或 磁带 库 中 。 预 计 FAST 在 射电 脉冲 星 科 学 领域 总 采集 脉冲 星 数据 量 在 10PB-100PB 规 模 ， 
48 FAST ABH IG APBIN ARM. 
49 FAST 面 临 大 规模 数据 地 传输 、 存 储 、 快 速 处 理 和 结果 数据 管理 等 实际 问题 。 针 对 FAST 
50 ”PB 量 级 数据 分 析 处 理 加 速 问 题 ， 本 文 提出 了 一 种 基于 PRESTOM 的 分 布 式 并 行 计算 方法 ， 并 
51 ， 据 此 研发 了 一 套 并 行 计算 加 速 系统 。 系 统 命名 为 Craber， 以 纪念 中 国 科学 家 记载 Crab 脉 冲 星 
52 ”发 现 和 脉冲 星 科 学 工作 者 开拓 创新 的 科研 精神 。 

53 

54 ”1 搜索 流程 、 软 件 及 加 速 分 析 


55 
56 1.1 搜索 流程 和 软件 
57 ASR Betas 4s Se ik LG RBS EO, LF: 去 干扰 、 消 色散 、 时 频 信 号 转换 、 


58 ”周期 信号 搜索 、 数据 折 营 和 候选 体 识别 等 。 以 计算 机 处 理 数据 的 视角 看 , 搜索 流程 可 概括 为 : 
59 (1) 获取 数据 文件 。 计 算 节 点 读 取 一 个 观测 原文 件 。(2) 分 析 处 理 数据 。 按 照 预 先 设 定 的 参数 
60 ”空间 和 搜索 策略 ， 执 行 分 析 指 令 。(3) 生 成 结果 ， 生 成 可 供 识别 的 候选 体 集合 。(4) 读 取 下 一 
61 ”个 待 处 理 文件 , 并 重复 执行 (1)、(2)、(3) 步 , 详细 的 搜索 流程 和 技术 理论 参见 Lorimer 专著 中。 
62 ” 潘 之 辰 等 在 脉冲 星 搜索 加 速 方 面 也 做 过 尝试 ， 取 得 了 一 定 加 速效 果 四 。 目 前 ， 针 对 脉冲 星 数 
63 ” 据 处 理 较 好 的 软件 有 : PRESTO、SIGPROC 和 基于 GPU 技术 的 peasoup 等 。 但 存在 如 下 几 
64 ”方面 不 足 。 
65 1. 软件 并 行程 度 不 够 。 在 一 般 的 搜索 中 ,， 消 色散 方法 主要 有 两 大 类 : 相干 消 色 散 和 非 
66 ”相干 消 色 散 趾 。 需 尝试 数 百 个 甚至 上 千 个 色散 值 ， 计 算 量 便 会 成 百 上 千 倍 增加 。 现 有 软件 因 
a 67 ”开发 历史 较 早 ， 基 于 当时 较 小 的 数据 规模 ， 搜 索 流程 中 大 多 采用 分 步 串 行 、 单 机 计算 方式 。 


O 6 2. 计算 结果 整理 、 统 计 和 归档 能 力 弱 。 计 算 参数 、 中 间 数 据 、 结 果 数据 、 日 志 数据 等 
69 。 缺乏 科学 化 管理 ， 数 据 归档 同步 不 及 时 、 数 据 分 享 和 统计 分 析 困难 。 
70 3. 计算 资源 整合 能 力 差 。 观 测 数据 以 FITS 数 据 格式 存储 ， 搜 索 中 伴随 产生 临时 众多 


71 ”文件 , 且 多 为 小 文件 , 带 来 频繁 读 写 人 磁盘, 计算 任务 具有 数据 密集 型 和 计算 密集 型 双重 特点 。 
72 ” 现 有 搜索 软件 缺乏 整合 计算 资源 的 能 力 ， 特 别 是 不 具备 整合 异地 异 构 计算 资源 的 方法 。 
73 ”1.2 并 行 计算 分 析 


74 针对 现 有 搜索 软件 存在 的 前 述 问题 ， 结 合 FAST 数据 搜索 特点 和 实际 应 用 ， 对 计算 可 行 
75 ”性 分 析 如 下 。 
76 1. 任务 可 并 行 性 。 从 搜索 流程 分 析 ， 不 同 观测 文件 间 不 存在 数据 耦合 关系 ， 且 处 理 过 
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78 ”为 其 中 一 个 子 计 算 任务 。 


79 2. 计算 节点 间 可 并 行 性 ,通过 网 络 技术 , 将 单个 计算 节点 整合 起 来 , 特别 是 将 异地 计 
80 ” 算 节点 整合 起 来 ， 形 成 一 定 算 力 的 集群 系统 ， 各 单 节点 上 并 行 处 理 任务 。 

81 3. 软件 程序 可 并 行 性 。 根 据 PRESTO 模块 化 程序 设计 和 分 步 串 行 计 算 特 点 ， 经 分 析 
82 ”发 现 它 具备 改 并 行 运算 的 可 能 。 可 通过 在 各 节点 上 部 署 优化 过 的 PRESTO, 并 行 调度 其 子 程 
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序 进 行 计算 。 

4. ”搜索 数据 库 协 同 计 算 和 数据 管理 。 异 地 计算 资源 协同 计算 和 多 任务 并 行 处 理 面 临 数 
据 一 致 性 和 归档 问题 ， 可 通过 建立 搜索 数据 库 系统 协同 管理 和 结果 回收 。 
1. 3 FAST 早期 科学 数据 中 心计 算 资源 

FAST 早期 科学 数据 中 心 由 贵州 师范 大 学 与 国家 天 文 台 联合 建设 ， 目 标 是 解决 FAST 数 
据 存储 、 分 析 处 理 和 开展 前 沿 科 学 研究 。 早 期 科学 数据 中 心 至 FAST 台 址 两 地 数据 中 心 通过 
2GB 专 网 连接 ， 横 跨 州 、 县 、 镇 20 余 中 转 节 点 ， 传 输 距离 300 多 公里 ， 采 用 波 分 复 用 和 双 
路 通信 容错 技术 保障 数据 传输 的 可 用 性 。 数 据 中 心 致力 于 改善 软件 可 用 性 的 同时 ， 也 设计 、 
定制 和 组 装 满足 FAST 未 来 一 段 时 期 计算 需求 的 计算 资源 。 

如 表 1， 数 据 中 心 已 分 步 建成 A、B、C、D 四 类 不 同 子 网 计算 集群 ， 配备 1.5PB 磁盘 存 
RAM IPB 容量 磁带 库 ， 部 署 在 数据 中 心 宝山 、 花溪 两 地 机 房 。 计算 集群 采用 CPU+GPU 
异 构 并 行 计算 体系 架构 ， 包 含 1384 个 CPU 核心 ，288 ER GPU 显卡 ， 共 计 1384 个 CPU 核 
心 和 955392 多 个 GPU 核心 。 并 对 台式 PC 机 进行 改造 ， 扩 展 显卡 插 模 ， 加 装 GPU 显卡 
大 容量 磁盘 和 内 存 资源 等 ， 强 化 单 节 点 计算 能 力 ,共同 组 成 并 行 化 计算 集群 ， 由 任务 管理 节 
点 统一 调度 。 极 大 地 解决 FAST 当前 一 段 时 间 的 数据 分 析 任 务 。 


s 


K 1 FAST 早期 科学 数据 中 心 CPU+GPU 异 构 系统 计算 集群 算 力 统计 
Table 1 Statistics for computational power of computing cluster in FAST Early Science Data Center 


子 网 集群 计算 节点 数目 (个 ) CPU RA GR) CPU 核心 数 (个 ) “GPU 数目 GR) GPU 核心 数 (个 ) 


子 网 集群 A 10 20 440 80 286720 
子 网 集群 B 60 60 480 120 430080 
子 网 集群 C 14 14 224 28 100352 
-网 集群 D 60 60 240 60 138240 
合计 144 154 1384 288 955392 


2 系统 设计 


2.1 设计 思路 和 方法 

根据 数据 中 心 已 有 的 软 硬 件 资源 ， 整 合 数据 库 、 搜 索 软 件 和 网 络 ， 解决 如 何 调度 、 如 何 
管理 、 如 何 抗 错 等 问题 ， 系 统 设计 思路 和 方法 如 下 。 

1. 优化 PRESTO 程序 套件 ， 开 发 一 套 并 行 计算 任务 调度 系统 ， 调 度 部 署 在 各 节点 上 
的 PRESTO 程序 各 分 步 搜 索 指 令 ， 并 行 的 分 析 处 理子 任务 。 

2. 整合 利用 FAST 早期 数据 中 心 位 于 宝山 、 花 溪 两 校区 子 网 计算 集群 ,构建 一 个 对 外 
透明 的 分 布 式 并 行 计算 集群 。 

3. 以 单个 观测 数据 文件 划分 计算 任务 单元 , 建立 任务 队列 , 经 任务 调度 分 发 程序 和 数 
据 库 协同 具体 搜索 工作 。 
4. ”建立 面向 搜索 过 程 和 数据 管理 的 专门 数据 库 ， 进行 任务 分 发 、 计 算 协 同 、 日志 数据 
和 结果 数据 回收 管理 ， 解 决 异地 计算 资源 参与 计算 时 的 数据 一 致 性 和 归档 问题 ， 供 后 续 AI 
程序 开展 候选 体 识别 和 筛选 。 
2. 2 功能 节点 划分 

如 图 1，Craber 并 行 加 速 计算 系统 按照 功能 不 同 ， 逻 辑 上 划分 为 以 下 几 个 组 成 部 分 : 一 
个 数据 源 节点 ， 用 于 存放 FITS 观 测 数据 文件 ， 一 个 任务 控制 节点 ， 用 于 计算 任务 的 协调 控 
制 ; N 个 并 行 计算 节点 ， 负 责 具 体 计算 搜索 业务 ; 一 个 数据 库 节点 ， 承 担 数据 管理 和 协同 计 
算 ; 一 个 非 结 构 化 结果 数据 节点 ， 负 责 存 放 过 程 数 据 ， 一 个 WEB 应 用 节点 ， 提 供 配置 交互 。 
各 节点 间 通 过 高 速 网 络 连接 进行 通信 和 数据 交换 ， 调 度 系统 采用 C/S 架 构 实现 。 
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FITS 数 据 源 节点 非 结 构 化 数据 存储 节点 数据 库 节点 


(Data Source Node) 


Unstructured Data Node) (Database Node) 


T 


T T 


任务 控制 节点 
(Task Controler Node) 


高 速 网 络 ( High Speed Network ) 


Web 应 用 前 端 
(Web Application Node) 


T 


1 号 并 行 计算 节点 2 号 并 行 计算 节点 


(#1 Compute Node) (#2 Compute Node) 


3 号 并 行 计算 节点 N 号 并 行 计算 节点 
(#3 Compute Node) me (Nth Compute Node) 


图 1 Craber 加 速 计算 系统 功能 结构 图 


Fig.1 Structure diagram of the Craber parallel accelerated computing system 


2.3 计算 节点 与 其 他 节点 间 指 令 和 数据 传递 过 程 
计算 节点 主动 与 数据 库 和 任务 控制 节点 通信 和 获取 计算 任务 。 任 务 节 点 负责 从 数据 库 任 


务 队列 中 获取 计算 任务 参数 ， 分 发 给 计算 节点 ， 如 数据 文件 地 址 、 计 算 参数 、 处 理 指 令 集 。 


计算 节点 作为 客户 端 , 通过 其 pete eat reas eG 


执行 PRESTO 套件 程序 指令 ， 进 行 脉 冲 
服务 器 和 计算 结果 文件 服务 器 。 gi 


星 数据 的 计算 工作 ， 并 将 计算 结果 提交 回 任务 控制 


节 点 上 配置 文件 规定 了 此 点 用 于 去 干扰 、 消 色散 、 


周期 搜索 、 数 据 折 受 等 步骤 的 线程 分 配方 案 ， 各 步 等 待 时 间 以 及 数据 同步 情况 。 


K2 配置 文件 参数 列表 说 明 
Table2 Configuration file parameter list and description 
Key word Description Key word Description 
updatesleeptime 写 数 据 库 操作 线程 等 待 时 间 tcpserverip 服务 器 IP 地 址 
Sendtodatabase 判读 是 否 需 要 写 入 数据 库 tcpserverport 通信 连接 端口 
ERLE EIJI 线程 
beara ARRITE prepaubbondmnaxstep aor 
EEEE 
sleeptime 各 计算 步骤 工作 线程 等 待 时 间 cachefile 客 全 计算 cache 
eri 源 文 件 目录 地 
readoncetimes 广播 间隔 时 间 sourcefile a BROCE HKH 
readoncenodenum 一 次 广播 的 客户 端 计 算 节 点 数 savefile 结果 保存 目录 地 址 


2.4 计算 节点 内 部 数据 处 理 和 交互 过 程 


单个 节点 的 计算 能 力 体现 为 可 用 的 线程 数量 。 任 务 分 配 服务 器 分 配 数 个 任务 给 计算 节 


点 ,广播 计 算 参 数 。 如 图 2， 计 算 节 点 根据 任务 参数 ， 从 数据 节点 中 读 取 对 应 观测 数据 文件 


并 作 处 理 。 计 算 节 点 依据 线程 分 配方 案 和 数据 库 中 任务 ID 值 ， 并 行 的 执行 图 中 1-6 步 流程 


数据 同步 由 数据 库 和 任务 控制 节点 完成 。 


` 


| 任务 分 发 创建 队列 | 数据 库 iA 
(Task distribution ) (Create queues) PI CDatabase) | | 数据 源 
(Data source) 
Task queue 
e  Prepsubband queue 
e Fold qu Raw PSRFITS data files 
SS OES 
T: il 内 存 i 
ask queue & Raw data files- ani s Folding queue &Raw data Files, DM, PO 
RFI queue &Raw PSRFITS data file: ener 
A 
DM queue & Multiple dispersed time series Candidates list 
FFT queue &De-dispersed time series 
` 5 x \ 
(1) 读 取 文 件 (2) 去 除 RFI (3) 消 色散 (4) 周 期 搜索 Gime Fe ma (ozana 成 图 
(Readfile) (Remove RFI) (De-despersion ) (Periodicity Search) ndidates filtering) (Folding) 
单个 计算 节点 内 的 计算 流程 
图 2 单个 计算 节点 内 的 计算 流程 


Fig.2 Search process of one single compute node in the cluster 
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148 如 图 3， 单 个 计算 节点 GPU/CPU 寞 构 系 统 开展 单个 任务 计算 数据 处 理 流程 。 在 每 个 计 
149 ，” 算 节点 上 通过 指定 GPU 核心 分 配方 案 ， 分别 用 于 PRESTO 子 程序 并 行 的 进行 消除 干扰 
150 CRFIFIND) 、 消 除 色散 (PRESUBBAND)、 周 期 搜索 、 数 据 折 县 等 步骤 。 因 消 色散 耗 时 相对 较 长 ， 
151 ”系统 指定 较 多 核心 数 专门 进行 消 色 散 ， 较 少 核心 数 进行 周期 搜索 、 数 据 折 炙 等 步 又， 进行 流 
152 ”水 化 作业 。 


153 
FITS DATA SOURCE CREATE TASK QUEUE 
(数据 源 ) 六 (建立 任务 队列 ) 
| l l 
( 1) RIFFIND RIFFIND RIFFIND RIFFIND 
(去 除 干扰 ) (去 除 干扰 ) me (去 除 干扰 ) (去 除 干扰 ) 
|i I I J 
PREPSUBBAND QUEUE 
(建立 色散 任务 队列 ) 
Y vy vy Y Y 
(2) PREPSUBBAND PREPSUBBAND PREPSUBBAND PREPSUBBAND 
GERO 《 消 色散 ) = ( 消 色 散 ) 《 消 色散 ) 
Y 
ACCEL SEARCH QUEUE 
(建立 周期 搜索 任务 队列 
Y 
FFT ACCEL SEARCH FFT ACCEL SEARCH FFT ACCEL SEARCH FFT ACCEL SEARCH 
G) (周期 搜索 ) (周期 搜索 ) a (周期 搜索 ) (周期 搜索 ) 
Y 
PREFOLD QUEUE 
(EARRAS 
AA v v y v 
PREFOLD PREFOLD PREFOLD PREFOLD 
(4) ABH (Buena) = (BORED GEN 
RESULT COLLECT QUEUE 
l | 
WRITE DATABASE & ARCHIVE WRITE DATABASE & ARCHIVE WRITE DATABASE & WRITE DATABASE&ACHRVE 
154 《5 ) | 。 (结果 数据 归档 《结果 数据 归档 ) ms ARCHIVE (结果 数据 归档 ) (结果 数据 归档 ) 
155 图 3 基于 GPU/CPU 的 异 构 系 统 并 行 计算 加 速 流程 
156 Fig.3 GPU+CPU-based parallel computing acceleration process for heterogeneous systems 
157 
去 类 
158 ”2.5 搜索 数据 库 
we be by SH EO Ro yw Wp ‘>H 
159 Craber 系统 的 任务 状态 和 任务 数据 的 维护 通过 数据 库 来 实现 。 搜 索 数据 库 解 决 的 问题 包 


160 ff: 1) 在 分 布 式 计算 任务 中 ， 保 证 调度 的 任务 数据 的 一 致 性 ， 提 高 容错 能 力 ; 2) 为 原始 数 
161 ” 据 、 处 理 日 志 、 结 果 整 理 和 统计 提供 基础 平台 ; 3) 为 后 续 AI 候选 体 识别 筛选 提供 数据 支 
162 ” 持 和 辅助 工具 。 设 计 了 FITS 观测 数据 文件 信息 表 、 任 务 执行 时 间 状 态 信息 表 、 任 务 指令 参 
163 ” 数 表 等 10 余 个 不 同 用 途 的 数据 库 表 。 其 中 ， 文 件 信息 表 记 录 FITS 文件 的 编号 、 文 件 名 、 
164 ”文件 路 径 、 格 式 、 观 测 设备 和 处 理 状态 等 。 通 过 调用 PRESTO 中 readfile 指令 获取 数据 集中 
165 ”全 体 竺 计算 FITS 头 文件 信息 ， 并 写 入 数据 库 任务 指令 参数 表 记 录 了 一 个 任务 ID 对 应 的 计 
166 ” 算 参 数 ， 以 及 PRESTO 子 程序 指令 : rfifind, prepsubband, realfft, accelsearch, prepfold + 
167 ”又 编号 ， 用 来 表示 prepsubband 的 子 步骤 。 搜 索 数 据 库 详细 内 容 将 在 其 他 文章 专门 介绍 。 
168 

169 3 系统 实施 与 结果 分 析 


170 
171 3.1 计算 实验 环境 
172 如 图 4，Craber 集成 一 个 大 容量 数据 文件 服务 器 ， 存 放 经 预 处 理 后 的 FITS 数据 文件 ， 


173 ”为 方便 计算 节点 快速 读 取 观测 文件 ， 数 据 源 利用 网 络 文 件 系 统 (Network File System) 来 实 
174 ” 现 管 理 ， 节 点 内 使 用 临时 文件 系统 (Temporary File System) 提 高 IO 能 力 ， 部署 一 个 任务 控制 
175 RAE. 用 于 计算 任务 的 协调 控制 、 任 务 分 发 和 参数 广播 ， 数据 中 心 4 个 计算 子 网 分 布 式 部 
176, 负责 具体 计算 搜索 业务 。 搜 索 数 据 库 采 用 大 型 关系 型 数据 库 ORACLE 11g, 进行 结 果 数 
177 ” 据 管 理 和 计算 参数 设 定 , 一 个 文件 服务 器 存放 中 间 数 据 文件 及 候选 体 判 别 图 ,一 个 前 端 WEB 
178 ”应 用 程序 ， 进 行 作业 期 间 的 实时 监控 。 
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FAST LIOR ES 
FITS 文 件 统 
(FAST FITS storage system) 


FITS 数 据 服务 器 


FITS Data server) 


并 行 计算 子 网 A 
(Sub-Computing cluster A) 


图 4 当前 FAST 


RAPE, FAST 早 期 科学 数据 中 心 
arallel computing cluster in Baoshan Campus) 


早期 科学 数据 中 心 Craber 计算 加 速 系统 网 络 部 署 拓扑 示意 图 


£ 
Is 


< 后 ` 
任务 控制 服务 器 Oracle 数 据 库 服 务 器 服务 器 
(Database server) 


(Task Controler server) Da 


子 网 B 


gi H 
(Sub-Computing cluster B) 


(Unstructured Data server) 


并 行 计算 子 网 C 


(Sub-Computing cluster C) 
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Web 应 用 服务 器 
(Web Application server] ) 


(Sub-Computing cluster D) 


花溪 校区 并 行 计算 集群 ,FAsT 早 期 科学 数据 中 心 


(Parallel computing cluster in Huaxi Campus) 


Fig.4 Network deployment topology of Craber acceleration system of FAST Early Science Data Center 


3.2 测试 数据 


如 表 3，Parkes 多 波束 巡天 项 目 PMPS 采 月 


月 96 个 频率 通道 ， 子 带宽 3MHz， 积 分 时 间 2100 
秒 ， 单 个 文件 大 小 100MB。FAST 望 远 镜 CRAFTS 数 据 集 经 过 频 域 分 割 数 据 预 处 理 ， 频 率 范围 


269. 125-396. 875MHz， 频 道 数 512， 带 宽 128MHz， 单 波束 扫描 时 间 26. 2144s， 单 个 文件 大 小 


128MB. 


表 3 测试 数据 文件 样 例 


Table 3 Two sample test files from PMPS and FAST 


关键 字 Parkes 望远镜 数据 文件 Parkes 望远镜 数据 文件 
(Key word) (PMPS data file) (FAST data file) 
File Name PMO0001_00731.sf FL20170924_0QT30.fits 
Pulsar J1345-6115 J2000-1234 
Number of Channels 96 512 
Width of Channels 3 MHz 0.25 MHz 
Band 1231.5-1516.5 MHz 269.125-396.875MHz 


Time per file 
Size of file 


Time cost 


3.3 实验 结果 


2100.224s 


~100MB 


36s 


26.2144s 


~128MB 


22s 


如 图 5， 随 机 选取 了 Parkes 400 个 PMPS 数 据 文 件 ， 消 色散 DM 步 数 设 为 768。 以 单线 程 单 
机 处 理 ， 单 个 文件 耗 时 约 6000 秒 (100 分 钟 )。 采 用 8 线程 OMP 人 处 理 ， 单 个 文件 平均 速度 3530 
秒 ( 约 60 分 钟 )。 启用 Craber 子 网 计算 集群 D 中 55 个 计算 节点 , 每 个 节点 配置 Intel 酷 豁 17 处 理 器 、 
32GB 内 存 和 1TB 人 硬盘 。 总 耗 时 约 145$0 秒 ， 平 均 36s 处 理 一 个 数据 文件 ， 即 集群 整体 吞吐 速 


度 是 36s。 


FAST 超 宽 带 漂移 扫描 巡天 数据 分 析 测 试 ， 单 个 128MB 数 据 文件 平均 处 理 时 间 22 秘 。 
2017 年 10 月 年 至 今 参与 处 理 FAST 数 据 文 件 66000 多 个 , 相关 结果 数据 统一 存 处 于 系统 集成 的 


搜索 数据 库 和 文件 服务 器 中 


iy 


Ph。FAST 通 过 多 套 独 立 


的 脉冲 星 搜索 流程 ， 已 确认 发 现 114 颗 脉冲 
星 ， 该 系统 已 辅助 发 现 数 十 颗 新 脉冲 星 Q0001。 和 辅助 发 现 第 1 颗 脉 冲 星 J1859-0131 (FP1) ， 
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203 日 转 周期 1.83 秒 ， 距 离 地 球 约 1.6 万 光 年 ， 第 2 壬 脉冲 性 锦 号 J1931-01 (FP2〉， 目 转 周期 0.59 
204 ” 秒 ， 距 离 地 球 约 4100 光 年 ， 两 颗 脉 冲 星 由 FAST 在 南天 银 道 面 通 过 漂移 扫描 采集 数据 发 现 


205 [121013] 

206 

207 i Single Thread )MP(8 Threads; raber 

208 图 5 分 别 使 用 单机 单线 程 、OPM 8 线程 、Craber 加 速 集群 系统 对 400 个 PMPS 数 据 文件 处 理 耗 时 测试 
209 Fig.5 Performance test for the processing time of 400 PMPs data files by using stand-alone single thread, 
210 OPM 8 thread and craber acceleration cluster system respectively 

211 


212 总 结 与 展望 


213 Craber 计 算 加 速 系 统 包含 1$4 个 CPU，288 块 GPU 显卡 ,为 FAST 脉 冲 星 搜索 项 目的 数据 处 
214 ” 理 提供 了 有 力 保 障 , 集成 的 面向 搜索 过 程 的 数据 库 系 统 在 协同 计算 任务 中 , 保证 调度 的 任务 
215 ”数据 的 一 致 性 ， 提 高 容错 能 力 ， 并 为 原始 数据 、 处 理 日 志 、 结 果 整 理 和 统计 提供 基础 平台 ， 
216 同时， 也 为 下 一 步 AI 程序 开展 学 习 训练 、 候 选 体 识别 提供 数据 支持 ， 大 幅 减 少 结果 数据 整 
217 ” 理 统计 和 管理 工作 量 。 系 统 应 用 于 Parkes 巡 天 数据 处 理 ， 单 个 100MB 数 据 文件 平均 耗 时 36s， 
218 ”应 用 于 FAST 脉 冲 星 漂移 扫描 巡天 数据 处 理 ， 单个 数据 文件 平均 耗 时 22 秒 。FAST 使 用 多 套 独 
219 ” 立 的 脉冲 星 搜索 流程 ， 确 认 发 现 114 颗 脉冲 星 ， 其 中 ， 该 系统 已 辅助 发 现 数 十 颗 新 脉冲 星 。 
220 ”系统 可 进 适 当 参 数 调 整 被 用 于 单 脉冲 (RRATs、FRBs) 搜 索 ， 未 来 将 应 用 FAST 搜 寻 模 式 观测 
¢ 221 ”项 目 数据 处 理 。 随 着 5G 技 术 成 熟 和 硬件 成 本 进一步 降低 ， 大 规模 数据 的 异地 协同 计算 将 变 
"一 222 ”得 更 易 操作 。 下 一 步 计 划 持 续 向 Craber 集 群 系统 增添 更 多 计算 节点 ， 优 化 搜索 数据 库 功 能 结 
FT 223 ” 构 和 计算 节点 中 CPU/GPU 调 度 方案 ,以 应 对 FAST 今 后 PB 数据 集 的 处 理 ， 改 善 数据 中 心 存储 
f 224 压力， 辅助 探索 发 现 更 多 新 脉冲 星 样本 。 

225 
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Abstract: Five-hundred-meter Aperture Spherical Telescope has been put into operation. 
Data collected by drift scan pulsar survey has exceeded 1PB, and it is expected to increase at least 
by 5 PB per year. Existing data processing software, such as PRESTO, SIGPROC, etc., couldn’t 
meet the real-time data analysis and management requirements. How to efficiently process PB 
volume of data has become a new challenge in the field of radio astronomy. In order to deal with 
the problem of PB data analysis and result data management encountered by FAST, we designed a 
PRESTO-based, distributed parallel computing method, which integrates network technology, 
database and cross-regional hardware computing resources. We also developed a acceleration 
computing cluster named Craber, which was designed and implemented by a team from Guizhou 
Normal University and the National Astronomical Observatories. The work flow and 
search-oriented database of the acceleration system are tested with data sets from the Parkes 
Multibeam Pulsar Survey and FAST Drift Scan Pulsar Survey. A 100MB Parkes data file takes 
~36 seconds by 55 computing nodes. While applied to the FAST drift scan pulsar survey, a 
128MB data file costs ~22 seconds. Craber has participated in the data processing of more than 
66,000 FAST data files, helped FAST detect more than 141 high-quality candidates, 114 of them 
have been confirmed to be new pulsars. All result data stored in the integrated Oracle database or 
file server for further candidates selection with AI. It helped FAST speed up the data processing 
and find number of new pulsars. 


Key words: Pulsar; Acceleration system; Database; Data processing; FAST 


